在线稠密强化学习训练规划-接地智能体用于真实 iOS 应用 UI 导航
🧭 UI Agent 在线强化学习训练 ★ 深度解读
Apple
用在线 RL 训练解耦的规划与接地 UI Agent，结合稠密/终局奖励与 GiGPPO，使 8B 模型在真实 iOS 任务上接近或超越 Gemini
📌 工作参考价值（5 点）
- 规划与 grounding 解耦：对话/导购 Agent 可把“策略决策”（是否推荐、是否反问、何时切换商品）与“执行层”（调用 API、生成卡片、点击元素）拆开；RL 只训练前者，后者用 SFT/规则冻结，训练成本大幅下降，线上也便于独立迭代。
- 稠密过程奖励 + 不对称折扣：用 LLM-as-a-Judge 对每一步的“业务进展”打分，但 dense 奖励要打折（如 γ=0.5），最终转化/成交奖励不打折。这能防止刷步骤分、拖时长，同时给稀疏转化提供中间信号。
- ASK USER 动作与模拟用户：在导购/搜索推荐 Agent 里显式加入“反问用户”原语，训练阶段用轻量 LLM 模拟用户偏好和回答，能提升交互式偏好澄清与个性化能力。
- critic warm-up 与高 critic lr：在 RL 训练推荐或对话策略时，先冻结策略训练 critic 15 步，再把 critic 学习率设为策略 100 倍，可避免初期优势噪声导致策略崩坏；critic 最终丢弃，不必精调。
- GiGPPO 思路可迁移到多并发 rollout 的搜索/推荐 Agent 训练：用状态相似度（如图像 hash 或 embedding）跨轨迹共享价值信号，尤其适合状态空间大、精确重复少的 GUI/会话场景。
OS-Helix：统一 GUI 交互与代码执行的计算机使用智能体
🧭 GUI 与代码统一动作空间的计算机使用智能体
University of Science and Technology of China · Shanghai AI Laboratory · National University of Singapore · Shanghai Jiao Tong University · Fudan University
端到端训练统一 GUI 动作与代码执行空间，结合 SFT 与在线 RL 将 OSWorld 成功率提升至 66.44%
📌 工作参考价值（4 点）
- 对需要同时操作 UI 与调用代码的 Agent（如电商 RPA、浏览器自动化、商家后台操作），不要靠 prompt 级工具组合，而应把 GUI 动作与代码执行放进统一 action space，通过混合数据 SFT 内化 GUI/code 路由，避免“加 code tool 反而变差”的退化。
- 用 application–artifact composition 生成带真实文件状态的可执行任务，配合 decoupled instruction/evaluator 产出可自动验证的监督数据，适合电商场景批量构建可执行的 ground-truth 与回归评估集。
- Step-balanced GSPO 按 action step 而非 token 聚合 importance weight，是处理长代码动作与短 GUI 动作异质序列的 RL 稳定技巧，可直接迁移到多步推荐、对话式操作、工具调用等 RL 训练。
- 冷启动 SFT + 在线 RL 在真实桌面环境迭代，这种“先行为克隆后环境反馈”的路线对构建生产级 Agent 可借鉴；若业务无桌面环境，可参考其可验证状态设计来构造环境反馈。
任务状态治理：一种可验证、可恢复的 GUI 代理执行虚拟机
🧭 GUI Agent 状态治理与恢复
SAIS, University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Meituan · Peking University · Institute of Software, Chinese Academy of Sciences
提出 TaskVM，将 GUI 任务建模为可编辑契约，实现可验证与可恢复的代理执行
📌 工作参考价值（4 点）
- 将任务建模成 Desired / Preserve / Observed 三栏契约：在电商运营、广告投放等 Agent 流程中，允许用户编辑期望结果与“必须保持不变”的字段，减少执行漂移带来的失控。
- 对每个 Agent 动作预标记 reversible / compensatable / irreversible：尤其适用于改价、发券、调整预算等高风险操作，便于在执行前评估恢复成本，提供回滚或补偿机制。
- 采用独立 verifier，只依赖 fresh visible observation 验证目标是否满足，不信任 Agent 自身回报；可迁移到生成式推荐/Agent pipeline 的结果验证，例如页面元素是否出现、按钮状态是否改变。
- 将用户编辑写回真实 GUI 操作：在自研自动化平台中实现可编辑控件与真实界面动作绑定，让业务人员直接修改任务参数后自动执行，提升控制感和信任感。
MAI-Gym：面向移动与计算机环境的 GUI Agent 评估与 RL 训练一体化开源平台
🧭 GUI Agent 在线强化学习与仿真平台
Alibaba Token Hub, Alibaba Group
开源一体化 GUI Agent 平台，统一评估/数据/在线RL，9B模型在 MobileWorld 和 OSWorld-Verified 创下 SOTA
📌 工作参考价值（4 点）
- 构建可重置的电商/导购模拟环境：借鉴其 mocked app 与 execution-validated task verifier 设计，在电商场景中搭建可重复初始化的购物、客服、售后等模拟 app，自动生成带可验证奖励的任务，低成本训练 GUI 操作型 Agent。
- 统一 rollout pipeline 保证训练与评估一致性：将环境交互、数据收集和在线 RL 训练纳入同一管线，避免训练/评估行为偏差；其 20K 并行环境实例的工程架构可直接迁移到大规模在线策略训练，如导购对话策略或推荐排序策略的仿真优化。
- 仿真 RL 到真实业务的迁移：论文显示在 mock 火车票 app 上训练后，真实手机任务成功率从 28.8% 提升到 48.1%，证明低成本仿真环境训练的模型可迁移到真实交互场景，适合作为电商 App 操作、订单流程等任务的试错沙盒。
- 直接复用开源任务与合成技能：发布的 2,000 个验证任务和自动化合成技能可作为电商/广告领域 GUI Agent 数据集的冷启动模板，结合自身业务 UI 快速生成带 verifier 的训练任务。
Work2Skill：捕获人类 GUI 经验以归纳可复用智能体技能
🧭 Agent 技能归纳与复用
Shanghai Jiao Tong University · Fudan University · Nanyang Technological University · Zhejiang University · Shanghai Qiji Zhifeng Co., Ltd
提出 Work2Skill 框架，从人类 GUI 演示中自动归纳可复用技能，显著提升多个执行模型的任务成功率
📌 工作参考价值（4 点）
- 构建领域操作技能库：把电商运营、广告投放、客服工单等复杂后台操作的人类专家录屏与键鼠事件、UI 树对齐，自动抽取可复用的 workflow rules 和 completion checks，将流程规则与任务特定参数分离，供 Agent 在新任务中直接调用。
- 采用按需证据检查的归纳方法：不一次性解析长轨迹，而是让 LLM Agent 根据问题动态检索关键片段，避免长上下文噪声，适合从海量操作日志或工单记录中提取高质量 SOP。
- 搭建高质量演示采集管道：参考 WorkRecorder 的多模态对齐与完整性/成功筛选，企业内部可持续积累经过验证的专家示范，形成训练与评估数据闭环。
- 技能与执行模型解耦：验证技能注入对四种执行模型均有提升，说明可将技能作为独立模块叠加在 LLM/VLM Agent 上，便于迭代和迁移到不同业务场景。
AutoGUIWorld：图像生成器作为GUI智能体的视觉世界模型
🧭 GUI Agent 数据合成与训练
Hunyuan AI Data Team
利用图像生成器与规划器合成无环境依赖的GUI交互轨迹，提升GUI智能体真实任务性能
📌 工作参考价值（4 点）
- 在电商/推荐场景中，可借鉴“无环境数据合成”思路：用图像生成器模拟商品详情页、购物车、下单等界面状态变化，低成本生成多步交互轨迹，用于训练购物助手或导购Agent，避免依赖真实App部署。
- 规划器+图像生成器迭代编辑的方法可生成多样化的用户旅程模拟数据，覆盖冷启动场景或长尾界面状态，增强Agent对异常布局、少见控件的泛化能力。
- 动作接地（action grounding）和过渡级质量过滤是关键步骤：在合成数据中显式校验动作坐标与视觉变化的对应关系，保证轨迹可用性，类似推荐系统中对合成样本做标注质量校验。
- 微调大模型（如Qwen3.5-35B-A3B）在真实基准上的显著提升（OSWorld +7.8pt, ScienceBoard +18.2pt）表明合成轨迹对Agent有效，电商领域可尝试用类似方法微调多模态模型处理商品页面操作任务。
GUI-HARVEST：证据驱动的 GUI Agent Harness 自改进
🧭 GUI Agent 自适应 Harness 优化
The Chinese University of Hong Kong, Shenzhen · Tianjin University · Harbin Institute of Technology (Shenzhen) · East China Normal University · Shenzhen Research Institute of Big Data
用证据驱动 harness 自动进化，让冻结 backbone GUI agent 自改进并跨任务/模型泛化
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 管线中，可借鉴「证据驱动诊断」：记录模型意图、实际执行动作及前后环境状态（如搜索结果页、购物车状态变化），定位具体状态转移，而非只看最终 reward，从而找出 harness 该改哪里（如终止条件、重试策略、query 改写触发点）。
- 同任务重复运行作为联合证据，比较成功/失败轨迹差异，能排除执行随机性影响，提取 outcome-relevant 的行为差异（例如成功轨迹多了一次二次验证），再把这些差异固化为 runtime 规则，比单次失败更可靠。
- harness 优化建议限制在 bounded source-code edits（观测组装、动作执行、验证/恢复、终止控制），并在评估前记录预测行为效果；这样能验证行为与任务性能双重提升，降低过拟合到特定任务的风险，便于在 unseen tasks 上复用。
- 冻结 backbone 下优化 harness，再跨模型/跨环境迁移，可减少对每个新模型做 fine-tune 或 prompt 工程；电商场景中可先在成本较低模型上优化 harness，再迁移到更强闭源模型或不同产品域。
反思、修订、复用：GUI Agent 的无训练技能演化
🧭 GUI Agent 技能演化 · 训练自由反思修订
Zhejiang University · UESTC
提出训练自由的 EvoSkill-GUI，将技能作为多文件包通过反思-修订-复用循环持续从执行反馈中改进，在三大 GUI 基准上最多提升 16.2%
📌 工作参考价值（4 点）
- 技能包多文件结构化：将 retrieval metadata、plans、backup localization、failure-recovery rules、failure cases 分文件管理，业务 Agent（如客服自动化、营销流程）可借鉴把关键过程知识模块化，方便局部更新，避免整体重写。
- 反思-修订-复用闭环：部署后从失败轨迹自动修订技能，不需重新训练模型；推荐/广告 Agent 可利用线上失败样本持续改进执行策略，提升动态环境鲁棒性。
- 即时 in-rollout 修订 + 隔离 critic：执行时遇到弹窗/页面变化可立刻根据备用定位和恢复规则调整；critic 在信息隔离下诊断避免被错误轨迹污染，对构建可靠自动化流程有参考。
- 训练自由，低成本迭代：无需 GPU 训练，仅依赖 LLM 推理与文件编辑，适合需要快速适应界面改版或流程变化的电商运营自动化场景。
LLaDA-UI：将分块扩散引入视觉语言GUI智能体
🧭 Agent · 分块扩散多模态模型
AGI Research Center, Inclusion AI · Venus Team · Westlake University
提出16.7B MoE分块扩散视觉语言GUI智能体，在多个GUI基准上超越Qwen2.5-VL-7B并在4/6基准上超过Qwen3-VL-8B
📌 工作参考价值（4 点）
- 分块扩散解码的并行性可降低端到端延迟，适合需要实时感知屏幕并快速决策的 Agent 场景（如自动操作商品后台、客服工单处理、广告账户管理）；可在小规模任务中替换自回归解码验证扩散解码的加速效果。
- 两阶段训练策略（通用多模态预训练 + 领域 SFT）可复用于训练电商多模态 Agent：先对齐视觉与语言，再用业务 GUI 数据微调，无需从零构建视觉语言模型。
- 原生分辨率视觉编码器对细粒度 UI 元素定位重要；电商场景中商品图、广告素材上的小文字/按钮/价格可能被降采样丢失，采用原生或高分辨率编码可提升 grounding 精度。
- MoE 架构使 16.7B 总参数在多个 GUI 基准上超过同量级/更大稠密模型，在可控激活成本下保持性能，对需要并发处理大量 Agent 请求的业务有成本优势。
OmegaUse-SOP：基于人类演示的专业计算机使用SOP工程
🧭 GUI Agent 技能工程化
Baidu, Inc. · Ningxia Electric Power Engineering Co., Ltd.
提出SOP Engineering系统OmegaUse-SOP，将人类专业软件操作演示转化为可复用GUI Agent技能，提升专业SOP任务可靠性
📌 工作参考价值（4 点）
- 对电商运营自动化（如自动操作广告投放后台、商家后台、ERP）的Agent，可借鉴Observe-Reason-Configure-Execute四阶段：先录制人类专家操作轨迹，再抽象成语义级步骤，配置领域规则，最后执行时逐步grounding+验证，而不是让LLM一次生成全部操作，能显著提高可靠性。
- 将SOP与Agent分离，类比prompt engineering，把“专业技能”作为可迭代资产：每次执行失败或人工修正后，回流更新演示和规则，形成企业专属的Agent技能库，类似推荐系统中的用户行为反馈闭环。
- 步骤级验证（step-wise verification）思路可迁移到多步Agent任务中，例如在电商选品、广告调价等流程中，每一步生成后由规则或轻量模型校验中间状态，避免错误累积导致任务失败。
- 多模态轨迹（截图+事件流）可作为训练/微调数据，尤其适合缺乏API的专业软件场景；在电商内部工具中，若某些操作只能通过GUI完成，此方法可低成本积累领域专家知识。
RecVerse：忠实模拟人类购物行为的 GUI Agent
🧭 用户行为仿真 · GUI Agent · RL ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · University of Chinese Academy of Sciences · National University of Singapore · Alibaba Group
提出融合三级认知记忆与轨迹级 RL 的 GUI 用户仿真 Agent，显著提升行为保真与意图一致性
📌 工作参考价值（4 点）
- 在 LLM 驱动的用户模拟 / 智能导购中，不要直接拼接长历史，可采用三级记忆：Working Memory 保留最近 K 步视觉与心态、Episodic Memory 记录会话事件、Preference Memory 蒸馏高层购物意图；把记忆写入作为动作交给 RL 学习，能自动决定“何时记、记什么”，缓解长会话上下文爆炸。
- 训练用户模拟器别只做 next-action 模仿或 step-level reward，改用 trajectory-level RL：宏观奖励对齐动作类型分布（CTR/ACR/CVR/IPVR 等），微观奖励用三级类目层次做意图匹配，可避免过度探索或过度被动。
- 如果业务有真实页面截图，尽量让仿真/评估 Agent 走 GUI grounding，而不是纯文本元数据；论文显示 GUI 比 text 的类别意图一致性 HCO 从 19.03 提升到 30.00，RL 后进一步到 32.64。
- 评估用户模拟器时同时报告行为保真和意图一致性，防止 hit 率被过度交互撑高；可借鉴其指标：ATL 偏差、行为统计与真实分布的比值、类目重叠 HCO。
UI-Mate：通过上下文演示提升开源权重基础 GUI 智能体
🧭 GUI Agent 训练与上下文演示
Tencent Hy Frontier Team
UI-Mate 结合环境驱动训练栈与上下文演示学习，在 OSWorld 等基准刷新开源 GUI 智能体 SOTA
📌 工作参考价值（4 点）
- 任务验证器与闭环数据引擎：可复用到电商 RPA、客服助手等 GUI 操作场景，用统一的 task–verifier bundles 自动化生成、过滤和平衡训练数据，减少人工标注。
- 演示学习的方式：将多模态演示转成 subtask-level workflow 而非刚性轨迹回放，同时允许从实时界面重新规划——适合电商中用户特定工具、隐性规则（如改地址需二次确认）的场景。
- 区分 self-demo 与 variant-demo：在构建演示数据库时，应分离同任务成功轨迹与相似但非同一任务的人类录制，有助于评估和提升模型对未见变体的泛化能力。
- 评测指标：除了 strict success，还引入 progress 指标，对长流程电商操作（如比价、下单、售后）更细粒度地反映中间进展，适合作为内部迭代指标。
下一帧截图知道答案：门控后见蒸馏训练移动GUI代理
🧭 GUI Agent · 后见知识蒸馏 ★ 深度解读
电子科技大学
利用下一帧截图作为特权信息，通过门控蒸馏将未来知识注入前缀策略，显著提升GUI代理任务成功率。
📌 工作参考价值（4 点）
- 序列决策任务（如推荐多轮交互）中，可模仿GHD，将用户事后真实行为（点击、购买）作为“未来状态”，通过teacher-student蒸馏，将事后知识注入仅依赖当前上下文的前缀策略，提升决策合理性。
- 门控机制“仅学生犯错且教师纠正时蒸馏”能有效过滤噪声样本，保证蒸馏信号的可靠性；类似地在推荐agent训练中，可只蒸馏那些模型在当前状态下给出差动作而事后信息能给出更好动作的case。
- 将强化学习（GRPO）与token级分布蒸馏结合，提供稠密的token级监督，比传统基于动作标签的模仿学习更高效；该训练范式可迁移到任何需自然语言推理+行动的agent场景。
- 动态采样（最多三次尝试寻找有效蒸馏样本）在不大幅增加训练开销的情况下显著提升有效监督密度，适合在离线数据有限时提升RL训练效率。
FocusMem：因子化 GUI Agent 潜在记忆的内容、读出与信任
🧭 Agent记忆因子化与选择性读出
School of Computer Science, Peking University · Key Lab of High Confidence Software Technologies, Peking University · Institute of Information Engineering, Chinese Academy of Sciences · Department of Computer Science and Technology, Tsinghua University
在潜在记忆中因子化内容保留、状态条件读出和信任门控，解决 GUI Agent 记忆压缩损失与无关干扰问题
📌 工作参考价值（4 点）
- 构建对话式推荐 Agent 或任务助手时，可将情景记忆（用户长期偏好）与工作记忆（当前会话状态）分开存储并利用角色感知读出，提升多轮交互一致性。
- 状态条件读出机制可迁移至用户序列建模，根据当前推荐场景动态聚焦历史行为，增强推荐上下文的个性化与相关性。
- 信任门作为轻量过滤器，可集成到 RAG 管道中，抑制检索到的无关商品描述或历史交互，减少噪声，提高推理准确性。
- 记忆模块独立训练、策略模型冻结的架构，是一种低风险、易迭代的工程方案，适合业务中快速实验与部署。
GUI 代理为什么正确却迟到？预编译策略树消除解码延迟
🧭 Agent 决策时延优化
Georgia Institute of Technology · Fudan University · Marquette University · University of North Carolina at Chapel Hill · National University of Singapore
提出自适应预期策略树，在空闲时提前规划 GUI 动作分支，事件触发时即时匹配执行，消除自回归解码延迟
📌 工作参考价值（4 点）
- 在实时推荐/竞价系统中，若候选动作集可枚举（如固定模板、预设回复），可用预编译策略树将 LLM 推理从在线关键路径移出，仅保留轻量状态匹配，避免解码延迟导致错过机会。
- 分支路由准确性是决定效果的关键瓶颈，工业落地时需重点优化状态匹配模型（如训练轻量分类器或规则引擎）以降低误匹配率。
- 借鉴“延迟感知的树规模控制”：根据系统解码时延动态设定策略树层数，确保覆盖可能的等待时间，避免过度规划浪费资源。
- 对于多模态 Agent 架构（如电商导购助手），可考虑将屏幕截图的变化检测与预编译分支结合，实现低延迟响应，尤其在闪购、秒杀等瞬态场景。
Qwen-UI-Agent：面向真实世界的基础 GUI 代理技术报告
🧭 GUI Agent 基础模型与训练
Alibaba Group
统一移动/电脑/网页的 GUI 代理，结合真实设备环境与数据飞轮，实现多平台 SOTA 性能。
📌 工作参考价值（4 点）
- 统一动作空间设计：将 GUI 操作与 CLI 命令交错批处理，可借鉴用于电商 Agent 在网页/App 上执行多步推荐、广告投放任务，减少推理轮次。
- 自动化数据飞轮：用 Agent 自身构造任务、诊断失败并迭代，能显著降低人工标注成本，适合为电商搜索推荐 Agent 持续生成训练数据。
- 大规模在线 RL 训练：支持 100+ 步长轨迹训练，利用 10,000+ 并发环境加速，可迁移至电商多轮对话或流程自动化 Agent 的训练。
- 主动服务与跨平台状态保持：轻量 harness 层允许 Agent 主动发起推送或跨设备续接任务，类似电商场景中的主动推荐、缺货提醒或跨端购物车同步。
OpenForgeRL：在任意环境中训练原生 Harness 智能体
🧭 Agent 端到端 RL 训练与 Harness 解耦 ★ 深度解读
Columbia University · Dartmouth College · Microsoft Research
一个开源框架，通过远程容器化与轻量代理解耦，支持用标准 RL（veRL）在任何智能体框架与任何环境中端到端训练 agent
📌 工作参考价值（4 点）
- 训练与推理解耦的工程模式：用轻量级 Proxy 拦截 Harness 的模型调用，自动重建轨迹，直接将复杂 agent 的交互过程转为 RL 可消费的样本，适用于内部多轮对话/工具调用 agent 的在线强化学习，无需重写训练代码。
- 云端容器化 rollout 编排：Kubernetes 编排远程沙箱，每个 rollout 独立容器，训练节点与 rollout 节点完全分离，可弹性伸缩。在电商推荐中可复现这种「训练 GPU + 远程 CPU 执行环境」的解耦架构，用于策略学习或 Agent 探索。
- 自动任务与环境合成流水线：通过「提出-剪枝-构建-测试-精炼」五步法自动生成大量可执行任务与 Docker 环境，可迁移到推荐系统中生成多样化的用户 query、对话策略或评测任务。
- RL 带来的 agentic 可靠性提升：实验表明 RL 显著改善自我验证、工具覆盖率和多步规划能力，但纠错能力依然薄弱。这提示在业务 Agent 训练中，可针对性地引入纠错样例或辅助任务来补强。
KnowAct-GUIClaw：知识驱动、完美执行的个人 GUI 助理，具备自演化记忆与技能
🧭 Agent 框架 · 自我演化 · GUI 交互
Harbin Institute of Technology, Shenzhen · Shenzhen Loop Area Institute
提出 KnowAct-GUIClaw 框架，通过可插拔的 GUI 子智能体与经验归因记忆、自演化技能库，实现跨平台长程任务自动化，性能超越闭源模型
📌 工作参考价值（4 点）
- 经验归因记忆与技能库的架构可迁移至对话或推荐 Agent：将用户交互历史与反馈持续存入记忆，用于动态更新用户画像和决策策略，提升长会话中的准确性。
- 可插拔子智能体设计适用于多端部署：在电商/广告场景中，可为不同平台（App、小程序、网页）开发专用 GUI 子智能体，共享同一记忆与技能库，降低跨平台迁移成本。
- 技能自演化机制可用于工具调用优化：借鉴其从执行经验中自动提取并泛化“技能”的思路，可让推荐系统或广告投放 Agent 根据历史效果数据自动发现高频操作模式，形成可复用的执行捷径。
- 基于开源的 Agent 框架改造：在 OpenClaw 等现有框架上引入 Know-Route-Act-Reflect 管线，无需从零开发，即可尝试为用户助理类产品增加自我改进能力。
UI-MOPD：面向持续GUI智能体学习的多平台在线蒸馏方法
🧭 GUI Agent 持续学习与跨平台适应
Tsinghua Shenzhen International Graduate School, Tsinghua University · Xiaomi · Harbin Institute of Technology, Shenzhen · Zhejiang University · Peng Cheng Laboratory
提出多教师在线蒸馏持续学习框架，动态选择平台教师，缓解跨平台GUI智能体的灾难性遗忘与行为冲突
📌 工作参考价值（4 点）
- 电商多端（APP/PC/小程序）自动化运营 Agent 可采用多教师在线蒸馏，避免不同平台操作惯例冲突，保留端侧特有行为模式，减少为每端单独维护模型的成本。
- 平台条件蒸馏通过环境信号动态路由选择特定教师，能使统一策略模型灵活适应多端环境，适合搜索推荐系统中跨端交互流程的自动化。
- 构建跨平台操作轨迹数据时，可借鉴 Uni-GUI 的收集策略（如多源采集、平台覆盖、操作可执行性过滤），提升训练数据质量与平台泛化性。
- 策略回放机制可迁移至电商 Agent 的持续学习中，防止新增端侧任务时旧端侧能力的灾难性遗忘。
利用自主经验探索与后见经验提升GUI代理任务规划能力
🧭 GUI Agent · 经验回放与任务规划
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出PEEU方法，通过自主环境探索与后见经验构造高层次训练数据，显著提升小型MLLM的规划与跨网站泛化能力
📌 工作参考价值（4 点）
- 后见经验构造训练数据：将失败/成功的交互轨迹反向转化为严格对齐的规划级训练样本，可借鉴到电商Agent的购物任务拆解中，用用户实际浏览-购买路径生成高质量指令数据。
- 自主环境探索：让Agent在生产前自动探索网站结构并积累操作经验，类似推荐系统中的冷启动探索，适合构建电商网页的预训练经验库，减少人工标注。
- 分层任务分解视角：TDHAF框架揭示高层次任务训练比原子技能训练更利于分布外泛化，提示在构建购物助手时应优先训练完整任务流（如“比价后下单”），而非单个点击指令。
- 小型MLLM潜力：7B模型超越32B模型，证明通过数据策略可压缩模型成本，适合边缘部署的电商隐私保护场景。
面向计算机使用代理的自主评估强化学习
🧭 GUI代理 · 噪声奖励校正
Ukrainian Catholic University, Lviv, Ukraine
用VLM作为不完美奖励信号的噪声校正强化学习，显著提升GUI代理任务成功率
📌 工作参考价值（4 点）
- 当无法获得密级标签或手工奖励函数时，可以用 VLM 评分作为稀疏奖励 来微调 Agent 策略，尤其适合 UI 自动化、电商操作机器人等视觉交互任务
- 将 VLM 评估视为带噪声的二元信道，推导出 PPO 中噪声校正奖励估计器 的思路，可直接复用于任何依赖不完美自动评估的 RL 训练，例如用 LLM 评价对话质量或推荐解释
- 实验中噪声校正明显优于直接用原始评估奖励（+5.1pp），提示在落地类似方案时，必须对自动评估器的误差建模，否则噪声会削弱甚至误导策略学习
- 该方法解耦了任务评估与策略优化，意味着可以 快速迭代评估器（更换 VLM 或 prompt）而不必改动 Agent 架构，适合工程中渐进式优化
基于交互轨迹挖掘的计算机代理技能文档自动生成
🧭 Agent 交互轨迹挖掘与技能自动化
Massachusetts Institute of Technology · Harvard University
轨迹聚类可得到高可读性的技能库，但对策略迁移几乎无帮助，暴露当前方法缺陷
📌 工作参考价值（4 点）
- 在构建电商/广告投放的 Agent 时，若从操作日志中挖掘可复用子任务，需警惕：无监督聚类的高纯度并不保证下游策略收益，必须进行任务导向评估。
- 当前的边界检测和无序片段表示是主要瓶颈，实际系统中应优先采用能保留顺序信息的轨迹编码（如序列模型），避免丢失操作依赖。
- 离线奖励模型（如本文中使用的 GRPO 奖励）可能与真实任务成功指标存在偏差，在线评估或使用任务完成信号作为奖励会更可靠。
- 频率先验（高频子序列直接作为技能）是强基线，在资源有限时可作为快速冷启动方案验证概念，再迭代至学习模型。
MemGUI-Agent：基于主动上下文管理的端到端长时域移动GUI智能体
🧭 Agent 上下文管理优化
浙江大学 · 快手科技
提出 Context-as-Action，将上下文管理作为一级动作压缩历史，让 8B 模型在长时域移动任务上超越更大规模模型
📌 工作参考价值（4 点）
- 长时域任务中引入“折叠历史”机制：在电商客服、导购 Agent 等多轮交互场景，可将对话历史分为“动作摘要+状态摘要+近期细节”三字段，关键信息不丢失且上下文长度可控，避免 ReAct 模式下的 token 爆炸与事实稀释。
- 将上下文管理作为策略动作统一训练：在推荐对话或任务型 Agent 中，把“忘记/压缩/总结”等上下文操作与业务动作（如查询商品、推券）纳入同一策略模块，端到端 SFT 可让模型学会主动压缩冗余信息，提升长会话稳定性。
- 构造结构化动作-上下文标注数据：可借鉴 MemGUI-3K 构建思路，为 Agent 交互轨迹增补“折叠/保留”等上下文管理标注，用于微调小尺寸模型，使其在长任务中推理成本更低、窗口利用率更高。
- 小模型通过上下文管理超越大模型零样本：该工作证明 8B 模型通过主动上下文管理可超越 235B 模型的零样本性能，适合资源受限的电商场景（如端侧智能助手）低成本部署。
HLL：多模态智能体能否跨越人类验证的最后一道防线
🧭 多模态Agent · 验证边界与交互鲁棒性评估 ★ 深度解读
上海交通大学 · 山东大学 · 同济大学
构建CAPTCHA交互基准，分层评估多模态智能体在验证边界上的感知、动作与过程一致性。
📌 工作参考价值（4 点）
- 电商Agent评估应引入分层现实性压力（页面干扰、难度、动态验证），暴露定位与动作精度短板，而非仅看最终结果。
- 借鉴动态验证机制（轨迹连续性、目标中心一致性、重复错误检测），可在订单提交等工作流中确保Agent的操作过程合法，防止“猜对答案”式的成功。
- 失败模式分类（感知解码、目标定位、动作校准、状态跟踪）可直接用于诊断电商Agent在表单填写、按钮点击等场景中的具体瓶颈，指导模型迭代。
- 通过注入弹窗、广告等干扰元素进行压力测试，可提升Agent在真实杂乱电商网页上的抗干扰能力，类似HLL的干扰轴设计可复用到自建评估集。
知识导向行为探索：轻量图引导的移动GUI代理
🧭 轻量级GUI Agent行为探索
CUHK MMLab · Huawei Research · Shenzhen Loop Area Institute · CPII under InnoHK
通过自动构建应用知识图，为轻量GUI代理提供结构化行为指导，提升端侧任务可靠性与隐私性。
📌 工作参考价值（4 点）
- 将用户操作流建模为知识图，引导Agent决策，减少对LLM的依赖，提升稳定性和响应速度，适合电商场景中的自动化操作流程。
- 图自动构建方法可用于冷启动或快速适应新业务场景，例如新电商App的自动化测试或客户引导流程设计。
- 轻量模型+图引导的架构适合部署在资源受限的端侧设备，对隐私敏感的推荐交互（如端侧Agent）提供参考。
- 自环和邻居边切换策略可迁移到多Agent协作场景，将复杂任务分解为图谱上的状态转移，降低调度复杂度。
MementoGUI：为长周期 GUI 代理学习主动多模态记忆控制
🧭 GUI 代理 · 主动多模态记忆管理 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · University of Wisconsin-Madison
提出即插即用的主动多模态记忆框架，不微调 GUI 骨干，通过学习写入、压缩、检索视觉工作记忆与情景记忆提升长周期任务表现
📌 工作参考价值（4 点）
- 双时间尺度记忆架构：将记忆解耦为工作记忆（在线保存任务状态）和情景记忆（跨任务经验复用），可参考设计电商 Agent 的长会话状态管理与跨会话知识积累，避免上下文无限膨胀。
- 自动数据管线生成监督信号：从交互轨迹自动构造步骤重要性、摘要、ROI 框和检索需求等训练标签，可迁移到对话或操作型 Agent 的记忆选择标注，降低人工成本。
- 即插即用的记忆注入方式：仅用文本摘要和 ROI 裁剪图像，不引入特殊 token 或架构改动，直接作为冻结 GUI 骨干的输入，便捷增强已有 Agent 的长程决策能力。
- 长周期评估指标：提出基于 VLM 的语义动作匹配、任务进展、记忆一致性评分，可参考用于评估电商场景下多步任务的决策质量和记忆使用合理性。
超越二元：将 GUI 评价重铸为连续语义对齐
🧭 Agent ★ 深度解读
上海交通大学 · 小米
将 GUI 动作批评从二元分类改革为连续度量学习，在共享 Affordance 空间中恢复层次语义结构，无需额外标注
PAGER：弥合精准几何 GUI 控制中的语义-执行鸿沟
🧭 精准 GUI 代理 · 像素级控制
University of Chinese Academy of Sciences · Shanghai Artificial Intelligence Laboratory · China University of Petroleum-Beijing
提出拓扑感知代理 PAGER，通过像素级监督微调与精度对齐强化学习，解决点级精确 GUI 构造问题
📌 工作参考价值（4 点）
- 像素级过程监督数据集：PAGE Bench 包含 224K 过程监督像素动作，可为电商设计自动化、交互式推荐布局等场景提供细粒度操作标注范例，直接用于训练可执行动作语法。
- 精度对齐强化学习：通过状态条件几何反馈缓解 rollout 曝光偏差，该思想可迁移到任何序列决策任务，适合在电商推荐的多步交互中纠正累积误差。
- 拓扑感知依赖规划：将复杂构造任务分解为依赖结构子任务再执行，类似思路可用于电商页面生成时先规划组件关系再渲染，提高结构化输出的准确性。
- 语义-执行鸿沟的警示：提醒在 Agent 开发中，即使语义理解准确率很高，几何级精度缺失仍会导致任务失败，需在设计奖励和度量时引入执行精度指标。
OmniGUI：全模态智能手机 GUI 代理步骤级基准
🧭 GUI Agent 评估 · 全模态环境基准
XPeng Motors
首个在步骤级注入交错图像、音频与视频的全模态 GUI 代理基准，揭示当前模型在需要时序/听觉信号时性能大幅下降
📌 工作参考价值（4 点）
- 电商或推荐场景的智能助手/自动化测试 Agent 设计时，应纳入音频、短视频等多模态输入，不应仅依赖静态截图，可参考该基准的多模态依赖标注方式。
- 真实环境中的无关噪声会造成跨模态干扰，促使 Agent 性能下降，提示在部署中需加入模态过滤或噪声鲁棒策略，对语音购物、直播带货等场景有直接借鉴。
- 步骤级交错输入的设计对连续交互数据采集有工程参考价值，可以迁移到对话式推荐或客服 Agent 的训练数据构建中。
- 基准揭示了时序音频信号对动作决策的重要性，推荐系统在利用商品短视频、动态展示时，应考虑时序信息与用户操作时刻的对齐。